混合计算机使用：面向通用智体的程序化、语义与视觉统一接口
🧭 多通道接口的通用计算机使用 Agent
Microsoft Research · Fudan University · Tsinghua University
统一代码/CLI、无障碍语义AX与GUI视觉三通道，让智体灵活选择组合，在OSWorld 2.0上取得最高分
📌 工作参考价值（4 点）
- 电商/广告自动化 Agent 可直接借鉴多通道设计：对内部系统优先暴露 API/CLI 程序化通道，对前端页面提取 AX 语义树而非只给截图，减少 LLM 对像素的推理负担。
- 动作批量执行 + 紧凑 diff 观察：将多个可独立操作合并为 batch，返回状态变更前后的差异（AX diff），避免逐步骤截图和往返，显著降低长流程任务的成本与时延。
- 通道切换时引入 stale-state 防护：在 Agent 执行跨系统任务时，维护各通道状态版本并在切换前校验刷新，防止过期状态导致错误操作，对广告投放、订单处理等高风险场景尤其重要。
- 为 LLM 提供通道选择 skill：编写接口选择手册，让模型根据任务类型（数据查询走程序化、页面操作走 AX、复杂视觉走 GUI）路由到最有效通道，减少自由探索成本。
进化式智能体接口：从任务经验自动构建工具
🧭 Agent 接口自动进化 ★ 深度解读
University of California, Santa Barbara · Cornell University · Carnegie Mellon University · Simular
让智能体自主进化计算机操作接口，27B开源模型以低成本超越GPT-5.5和Claude Opus 4.8
📌 工作参考价值（4 点）
- 将「接口/工具库」作为可进化资产：不要只靠人工预先设计固定工具集。可以从 Agent 在业务任务（如广告后台操作、选品数据拉取、报表生成）中的轨迹里自动提炼可复用 API 或脚本，让模型从低频、低效的 GUI 操作转向结构化调用，直接降低任务成本并提高成功率。
- 分离构造证据与选择证据：进化时只用无标签训练轨迹驱动工具修改，用独立的 validation 任务做选择，能显著降低对训练任务的过拟合。这在用 Agent 自动生成推荐/广告流程工具时可直接复用：不要让生成工具的模型看到最终评分或测试集。
- 低成本模型 + 进化工具层可以逼近甚至超越更强模型：论文用 Qwen3.8-27B 加上进化出的接口库，在 OSWorld V2 超过 GPT-5.5 和 Claude Opus 4.8，成本仅 4.3% 和 1.5%。业务上可以优先在工具层做自动搜索，而不是一味换更大模型。
- 重复验证对长程 Agent 任务很重要：ScienceBoard 上单次验证分数噪声大，平均多次验证后才选中稳定高分的仓库。业务里做 Agent 工具选择或在线评估时，对长流程任务应做多次重复评估，避免一次偶然高分误导。
Player-1：通过合成经验学习游戏控制的后训练框架
🧭 游戏智能体 · 合成经验强化学习
National University of Singapore · ARC Lab, Tencent IEG · Nanyang Technological University
Player-1利用合成环境和PPO强化学习，将游戏智能体MineDojo-300成功率提升至38.33%，远超SFT基线
📌 工作参考价值（4 点）
- 合成环境+程序化奖励训练Agent决策：可借鉴到电商搜索/推荐Agent的离线策略优化，构建模拟用户交互（点击、浏览、反馈）的合成环境，避免线上试错成本，用PPO在多样化模拟器中提升Agent多步决策能力。
- 复合动作空间扩展：论文中同时组合键盘+鼠标的复合动作在RL中使用频率增加，类比到对话式推荐或搜索Agent，可建模同时生成query+点击筛选等复合操作，更贴近真实用户行为，值得在动作空间设计上尝试。
- SFT初始化+多环境PPO两阶段范式：先用人类演示数据SFT，再在多个随机化合成环境中用PPO探索优化，这比单纯SFT能获得超越模仿的策略，适用于电商客服Agent、自动谈判Agent等需要长期回报优化的场景。
- 环境随机化提升迁移泛化：通过对观察和动力学进行随机化，覆盖更广状态空间，可应用于构建电商搜索模拟器时加入用户偏好扰动、延迟响应等噪声，提高策略鲁棒性。
CUAWright：数字代理的极简统一接口
🧭 数字代理 · 终端统一接口
Microsoft Research · National University of Singapore · The Ohio State University · Carnegie Mellon University
用 bash 命令和文件系统作为极简接口，让数字代理动态创建工具，大幅提升任务成功率和效率
📌 工作参考价值（4 点）
- 在需要自动化操作浏览器或桌面应用的场景（如电商数据采集、广告投放监控、多步骤订单处理），可以考虑用终端/bash 作为统一动作接口，替代传统 GUI 点击或 DOM 操作，减少对固定工具的依赖，让 LLM 直接调用命令行工具或编写脚本完成操作。
- 采用文件系统作为可演化的工具和记忆空间：让 Agent 在任务执行过程中将中间结果、上下文、创建的工具脚本写入文件，后续步骤可读取修改，实现类似长期记忆和动态工具注册表，避免每次重新生成工具定义。
- 统一接口降低了 harness 的工程复杂度：仅约 3K 行代码即可实现，适合快速搭建 Agent 系统原型，相比维护多套 GUI 特定工具（浏览器、桌面、CAD 等）更轻量，且跨领域复用性强。
- 结果提示：在需要视觉理解与命令行交互结合的任务（如 CAD 设计、UI 自动化测试）中，终端接口比纯 GUI 或混合 CLI 接口有显著提升，可以优先尝试将业务自动化流程改造为基于终端命令的交互方式。
UI-Mate：通过上下文演示提升开源权重基础 GUI 智能体
🧭 GUI Agent 训练与上下文演示
Tencent Hy Frontier Team
UI-Mate 结合环境驱动训练栈与上下文演示学习，在 OSWorld 等基准刷新开源 GUI 智能体 SOTA
📌 工作参考价值（4 点）
- 任务验证器与闭环数据引擎：可复用到电商 RPA、客服助手等 GUI 操作场景，用统一的 task–verifier bundles 自动化生成、过滤和平衡训练数据，减少人工标注。
- 演示学习的方式：将多模态演示转成 subtask-level workflow 而非刚性轨迹回放，同时允许从实时界面重新规划——适合电商中用户特定工具、隐性规则（如改地址需二次确认）的场景。
- 区分 self-demo 与 variant-demo：在构建演示数据库时，应分离同任务成功轨迹与相似但非同一任务的人类录制，有助于评估和提升模型对未见变体的泛化能力。
- 评测指标：除了 strict success，还引入 progress 指标，对长流程电商操作（如比价、下单、售后）更细粒度地反映中间进展，适合作为内部迭代指标。
LongHorizon-Harness：将长期执行重构为任务状态管理问题，大幅提升长程代理性能
🧭 长期任务代理 · 任务状态管理 ★ 深度解读
DreamX Team, Alibaba Group
通过管理-执行-审计（MEA）循环显式维护任务状态并独立审计，在 WeaveBench 上将完成率从 51.8% 提升至 80.7%
📌 工作参考价值（4 点）
- 在电商搜索/推荐的多步代理任务（如复杂购物助手、多轮商品对比）中，可引入 MEA 架构：经理根据用户意图分解子任务，执行器在干净上下文中完成（如检索、对比），审计员独立验证执行结果，防止错误累积导致后续决策偏离。
- 显式任务状态与执行上下文分离的技巧，能有效避免长对话/操作历史带来的上下文遗忘问题，适合需要维护用户画像、购物车等中间状态的对话式推荐代理。
- 独立审计机制可应用于广告投放优化、商品批量上架等需多步验证的业务流程，确保每一步操作结果符合预期后才更新全局状态，提升流程可靠性。
- AgentAdapter 的设计表明可以通过轻量适配层统一接入不同的 LLM 或工具后端，便于在生产中灵活切换模型和底层执行引擎。
CLI-Anything：面向原生智能体的计算机交互界面设计
🧭 面向Agent的软件接口设计 ★ 深度解读
University of Hong Kong
放弃脆弱的GUI视觉操控，为Agent直接生成可编程、有状态且可验证的CLI操作接口。
📌 工作参考价值（4 点）
- 为内部工具构建Agent友好的CLI表面：当你有复杂的内部平台（如标注工具、配置中心、A/B实验平台）需要由Agent自动操作时，可按CLI-Anything的“harness lift”方法生成有状态的CLI接口，代替脆弱的GUI点击流，大幅提升Agent执行可靠性。
- 状态管理和可恢复执行：借鉴其JSON项目文件、undo/redo栈和会话持久化设计，让Agent能在任务中途检查状态、回滚错误步骤并继续执行，这对长时多步的电商工作流（如自动搭建活动页）尤其重要。
- 预览协议与验证对称性：在Agent工具中加入preview命令，输出结构化摘要与可视化产物，人类可审阅而Agent可验证，且验证边界与执行边界保持统一（都用真实后端渲染），避免Agent做出“命令返回0但实际产出错误”的判断。
- 工具发现与分发基础设施：如果公司内有多个Agent团队，可参照CLI-Hub构建一个工具注册与发现系统，让Agent按任务需求自动查找、安装并调用标准化接口，避免重复造轮子。
智能体的最终考试：面向真实经济工作流的通用Agent评测基准
🧭 Agent通用计算机使用能力评测基准 ★ 深度解读
University of California, Berkeley
覆盖55个职业子领域、1490个专家提交任务，评测Agent在长时程多模态计算机操作上的表现，最强模型整体通过率仅2.6%。
📌 工作参考价值（4 点）
- 任务设计范式：将专业工作流拆解为可验证的交付物和里程碑（gate-and-score），可直接用于构建电商客服、商品上架等Agent评测，避免LLM-as-judge的不可靠性。
- 工具使用剖析：发现Agent普遍用CLI代替GUI，导致在图形软件密集型任务上失败，提示在电商自动化（如美工、合规审查）中需显式强化GUI操作能力。
- 模型vs框架选择：模型对性能影响是框架的3倍，且资源消耗（时间、金钱）与成功率非正比，可指导选型——先用轻量框架+最强模型，再针对性优化工具集。
- 数据防污染：公共/私有任务池定期轮换，可借鉴到生产环境的Agent能力监控，防止过拟合或数据泄漏。